Masked Language Modeling

ChatGPT.icon

「MLM」とは、「Masked Language Model」の略で、自然言語処理において用いられる一種の教師なし学習の手法のことを指します。MLMは、BERT（Bidirectional Encoder Representations from Transformers）と呼ばれる言語モデルで導入され、その後多くの自然言語処理タスクに応用されています。

MLMの基本的なアプローチは、テキストデータの一部をマスク（隠す）して、残りの文脈からマスクされた単語を予測することです。具体的には、ある文章中の一部の単語をランダムにマスクして、そのマスクされた箇所に適切な単語を予測するように、モデルを学習します。また、隣接する単語や文脈を考慮しながら、より正確な予測を行うこともできます。

MLMによって学習されたモデルは、テキストデータの複雑な特徴を捉えることができ、そのモデルを転移学習のベースとして、多くの自然言語処理タスクで高い性能を発揮することが報告されています。また、MLMは、言語処理に限らず、様々な分野での教師なし学習にも利用されています。

穴埋め問題